随着YouTube频道的增长，每个视频都可以收集从观众提供直接反馈的巨大评论。这些评论是了解观众期望和改善渠道参与的主要手段。但是，评论仅代表了关于频道和内容的用户意见的一般集合。许多评论构造不当，微不足道，拼写不当和语法错误。因此，确定最有利息的评论是一个繁琐的工作。在本文中，我们根据情绪和句子类型提取并将原始评论分类为不同类别，这将帮助您能够帮助您查找相关评论以越来越多的信息。现有的研究在文本语料库上的相同句子类型（例如，问题类型）中的情感分析（正面和负数）或分类的分类集中在一起。这些对非传统文本语料库有限，如Youtube评论。我们使用众所周知的统计测量和机器学习模型来解决YouTube评论的文本提取和分类的这一挑战。我们使用交叉验证和$ F_1 $分数评估统计测量和机器学习模型的每个组合。结果表明，我们在分类任务中融入了传统方法的方法，验证其在辅助内容创作者中的潜力会增加他们的渠道的观看者参与。
translated by 谷歌翻译
The rapid growth of machine translation (MT) systems has necessitated comprehensive studies to meta-evaluate evaluation metrics being used, which enables a better selection of metrics that best reflect MT quality. Unfortunately, most of the research focuses on high-resource languages, mainly English, the observations for which may not always apply to other languages. Indian languages, having over a billion speakers, are linguistically different from English, and to date, there has not been a systematic study of evaluating MT systems from English into Indian languages. In this paper, we fill this gap by creating an MQM dataset consisting of 7000 fine-grained annotations, spanning 5 Indian languages and 7 MT systems, and use it to establish correlations between annotator scores and scores obtained using existing automatic metrics. Our results show that pre-trained metrics, such as COMET, have the highest correlations with annotator scores. Additionally, we find that the metrics do not adequately capture fluency-based errors in Indian languages, and there is a need to develop metrics focused on Indian languages. We hope that our dataset and analysis will help promote further research in this area.
translated by 谷歌翻译
This paper proposes an algorithm for motion planning among dynamic agents using adaptive conformal prediction. We consider a deterministic control system and use trajectory predictors to predict the dynamic agents' future motion, which is assumed to follow an unknown distribution. We then leverage ideas from adaptive conformal prediction to dynamically quantify prediction uncertainty from an online data stream. Particularly, we provide an online algorithm uses delayed agent observations to obtain uncertainty sets for multistep-ahead predictions with probabilistic coverage. These uncertainty sets are used within a model predictive controller to safely navigate among dynamic agents. While most existing data-driven prediction approached quantify prediction uncertainty heuristically, we quantify the true prediction uncertainty in a distribution-free, adaptive manner that even allows to capture changes in prediction quality and the agents' motion. We empirically evaluate of our algorithm on a simulation case studies where a drone avoids a flying frisbee.
translated by 谷歌翻译
腿部机器人可以穿越各种各样的地形，其中一些可能对轮式机器人（例如楼梯或高度不平衡的表面）具有挑战性。然而，四倍的机器人面临湿滑表面上的稳定挑战。可以通过切换到更保守和稳定的运动模式，例如爬网模式（始终与地面三英尺接触）或安排模式（一只脚一次接触）来防止这种方法来解决这一问题。潜在跌落。为了应对这些挑战，我们提出了一种从过去的机器人体验中学习模型的方法，以预测潜在的失败。因此，我们仅基于本体感受的感觉信息触发步态切换。为了学习这种预测模型，我们提出了一个半监督的过程，用于在两个阶段中检测和注释地面真相滑移事件：我们首先在步态数据的时间序列序列中使用无可教力的异常检测器检测到异常发生，然后，然后，然后检测到异常情况。在重播模拟中，通过人类知识进行了验证，以断言滑移事件。这些注释的滑移事件随后用作地面真理示例，以训练整体决策者，以预测跨地形的滑移概率以进行遍历。我们分析了由腿部机器人在具有湿滑地形的多个站点上记录的数据分析模型。我们证明，潜在的滑移事件可以预测在潜在跌倒之前的720毫秒之前，平均精度大于0.95，平均F评分为0.82。最后，我们通过将其在腿部机器人上部署并根据滑移事件检测切换其步态模式来实时验证我们的方法。
translated by 谷歌翻译
我们提出了一个无模型增强学习（RL）框架的案例研究，以解决预定义参数不确定性分布和部分可观察到的随机最佳控制。我们专注于强大的最佳井控制问题，这是地下储层管理领域的密集研究活动的主题。对于此问题，由于数据仅在井位置可用，因此部分观察到系统。此外，由于可用字段数据的稀疏性，模型参数高度不确定。原则上，RL算法能够学习最佳动作策略（从状态到动作的地图），以最大程度地提高数值奖励信号。在Deep RL中，使用深神经网络对从状态到动作进行参数化的映射是参数化的。在强大的最佳井控制问题的RL公式中，状态由井位的饱和度和压力值表示，而动作代表控制通过井流的阀门开口。数值奖励是指总扫描效率，不确定的模型参数是地下渗透率场。通过引入域随机化方案来处理模型参数不确定性，该方案利用群集分析其不确定性分布。我们使用两种最先进的RL算法，近端策略优化（PPO）和Advantage Actor-Critic（A2C）提出数值结果，这些结果是在两个地下流量测试用例上，这些算法代表了两个不同的不确定性分布的渗透率场。根据使用差分进化算法获得的优化结果对结果进行了测试。此外，我们通过评估从训练过程中未使用的参数不确定性分布中得出的看不见的样本中学习的控制策略，证明了对RL的鲁棒性。
translated by 谷歌翻译
增强学习（RL）是解决模型参数高度不确定的强大最佳井控制问题的有前途的工具，并且在实践中可以部分观察到系统。但是，强大的控制策略的RL通常依赖于进行大量模拟。对于具有计算密集型模拟的案例，这很容易成为计算上的棘手。为了解决这个瓶颈，引入了自适应多网格RL框架，该框架的灵感来自迭代数值算法中使用的几何多机方法原理。最初，使用基础偏微分方程（PDE）的粗电网离散化（PDE）的粗网格离散化，使用计算有效的低忠诚度模拟来学习RL控制策略。随后，模拟保真度以适应性的方式增加了对相当于模型域最优秀的最高忠诚度模拟。提出的框架使用最先进的基于策略的RL算法，即近端策略优化（PPO）算法证明。结果显示了两项案例研究的结果，该研究是由SPE-10模型2基准案例研究启发的强大最佳井控制问题。使用所提出的框架节省了其单个细网格对应物的计算成本的60-70％，可以观察到计算效率的显着提高。
translated by 谷歌翻译
有效的沟通需要适应与每个交流伙伴共享的特质共同基础。我们研究了这个问题的特别具有挑战性的实例化：流行的游戏dixit。我们将一轮dixit作为多代理图像参考游戏，在其中（训练有素的）扬声器模型描述了目标图像，以使一个（预审计的）侦听器模型可以从一组干扰器中正确识别它，但另一个听众无法识别它。为了适应这种设置，演讲者必须利用与不同听众共享的共同点的差异。我们表明，在这种对比性的多代理设置中，在剪辑视觉编码器和大型语言模型之间进行基于注意力的适配器会产生与上下文相关的自然语言专业化，而无需直接监督。在一系列受控的实验中，我们表明说话者可以根据各对不同听众的特质优势和劣势来适应。此外，我们显示了说话者专业化对看不见的现实世界数据的零拍传输。我们的实验为复杂的多方设置中的自适应沟通提供了一步，并突出了Dixit等游戏带来的有趣的研究挑战。我们希望我们的工作能够激发创造性的新方法，以适应预处理的模型。
translated by 谷歌翻译
广泛认为，面部识别准确性存在“性别差距”，女性具有较高的错误匹配和错误的非匹配率。但是，关于这种性别差距的原因，相对较少了解。甚至最近有关人口影响的NIST报告也列出了“我们没有做的事情”下的“分析因果”。我们首先证明女性和男性发型具有影响面部识别准确性的重要差异。特别是，与女性相比，男性面部毛发有助于在不同男性面孔之间产生更大的外观平均差异。然后，我们证明，当用来估计识别精度的数据在性别之间保持平衡，以使发型如何阻塞面部时，最初观察到的性别差距在准确性上大大消失。我们为两个不同的匹配者展示了这一结果，并分析了白种人和非裔美国人的图像。这些结果表明，对准确性的人口统计学差异的未来研究应包括检查测试数据的平衡质量，作为问题制定的一部分。为了促进可重复的研究，将公开使用此研究中使用的匹配项，属性分类器和数据集。
translated by 谷歌翻译
本文使用总变化距离歧义集研究了分布强大的模型预测控制（MPC）的问题。对于具有加性干扰的离散时间线性系统，我们为MPC优化问题提供有条件的价值重新印度，该重新质量在预期的成本和机会限制下在分配上具有稳定性。分布稳健的机会约束被过度评估，以减轻计算负担的更简单，收紧的机会约束。数值实验支持我们的概率保证和计算效率的结果。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译